Cerebras SystemsとPerplexity AIは最近、従来の検索エンジンの支配に挑戦することを目指した、新しい超高速AI検索モデルSonarを発表し、連携を発表しました。連携の中心となるのは、Cerebras専用のAIチップ上で動作し、毎秒1200トークンの速度を達成するSonarモデルで、現在市場で最も高速なAI検索システムの1つとなっています。SonarモデルはMetaの

先日、NVIDIAは次世代オープンソースのビジョン言語モデルNVILAを発表しました。正確性と効率性を最適化することを目指し、その優れた性能により、ビジョンAI分野のリーダーとなっています。NVIDIAによると、NVILAは、訓練コストを4.5倍削減、ファインチューニングに必要なメモリを3.4倍削減、プリフィリングとデコーディングの遅延をほぼ2倍削減したとのことです。これらのデータは、別の大きなビジョンモデルであるLLaVa OneVisionとの比較に基づいています。ビデオベンチマークにおいて…

Metaは最近、Llamaシリーズの最新モデルであるLlama 3.370Bを発表しました。Metaの生成AI担当バイスプレジデントであるAhmad Al-Dahle氏はXプラットフォームでこのニュースを発表し、Llama 3.370Bは、Metaの以前の最大モデルであるLlama 3.1405Bと比較して、パフォーマンスが大幅に向上し、コストが大幅に削減されたと述べています。Al-Dahle氏によると、Llama 3.370Bは、最新のトレーニング技術を活用することで…

Meta AIは最近、新しい量子化版Llama 3.2モデル（1Bと3Bの2つのバージョン）を発表しました。このモデルは、様々なデバイスで微調整、蒸留、展開が可能です。以前は、Llama 3のようなモデルは自然言語理解と生成において顕著な成果を上げていましたが、その巨大なサイズと高い計算需要により、多くの組織にとって利用が困難でした。長いトレーニング時間、高いエネルギー消費、高価なハードウェアへの依存は、テクノロジー大手と中小企業との間の格差を拡大させていました。Llama 3.2は…

フランスのAIスタートアップ企業Les Ministrauxが、エッジデバイス向けに設計された2つの新しい軽量モデル、Ministral3BとMinistral8Bを発表しました。パラメータ数はそれぞれ30億と80億です。これらのモデルは、指示に従うベンチマークテストで優れたパフォーマンスを示し、Ministral3BはLlama 38BとMistral 7Bを上回り、Ministral8Bはコード能力を除くすべての分野でこれら2つのモデルを上回りました。テスト結果は、Ministra...

今週、AI業界は活況を呈しています。GoogleとMetaが新たなAIモデルを発表し、大きな注目を集めています。まず、Googleは火曜日にGeminiシリーズの最新アップデートを発表し、2つの新しい本番環境対応モデル、Gemini-1.5-Pro-002とGemini-1.5-Flash-002を発表しました。このアップデートでは、モデル全体の品質が大幅に向上し、特に数学、ロングコンテキスト処理、ビジョンタスクにおいて顕著な進歩が見られました。Googleは、

Metaは、年次イベントMeta Connect 2024において、エッジAIとビジョンタスクの能力向上を目指したLlama 3.2を発表しました。新たに発表されたLlama 3.2モデルには、11億パラメータと90億パラメータの中規模ビジョンモデル、そして1億パラメータと3億パラメータの小規模モデルが含まれており、モバイルデバイスでの使用に最適化され、QualcommとMediaTekのハードウェアをサポートしています。MetaのCEOマーク・ザッカーバーグは、これらのモデルによって、開発者は膨大なリソースを必要とせずに…

Metaがオープンソースで公開した大規模言語モデルLlama 3が市場で低迷し、クローズドソースモデルとの競争激化を招いています。Amazon AWSの反応も鈍く、企業顧客はAnthropicのクローズドソースモデルClaudeを好む傾向にあります。Microsoftも、エンジニアやデータサイエンティストチームに他のモデルの使用を推奨する傾向にあります。この事態を受け、Metaは企業へのサービス向上のため、AI専任営業チームの設立を検討しています。オープンソースモデルは商業化において課題に直面しており、実際のパフォーマンスと商業的リターンは期待を下回っています。

Nvidiaの研究チームは、モデルプルーニングと知識蒸留技術を用いて、Llama 3の圧縮版であるLlama-3.1-Minitron4Bを発表しました。これは、デバイス上でのAIを実現することを目的とした、わずか4億パラメーターのモデルです。深度プルーニングと幅方向プルーニング技術により、元の80億パラメーターのモデルから大幅にパラメーター数を削減しながら、大規模モデルに匹敵する性能を維持しています。トレーニングデータ量が大幅に削減（40倍）されたにも関わらず、MMLUベンチマークテストにおいて16％の性能向上を実現しました。この成果はNVIDIAのNe…

わずか10名からなるスタートアップ企業Nous Researchが、Hermes3というAIモデルでメタのような巨大テクノロジー企業に挑戦しています。Llama 3.1を基に微調整されたHermes3は、VRAMとディスクの要件を最適化し、単一ノードで動作可能な強力なモデルです。会話能力、テキスト理解の質、そしてエージェント統合能力において優れたパフォーマンスを発揮し、従来の言語モデルを超える高度な能力を示しています。Nous Researchはオープンソースに注力しています。

「安全単語模擬実験」において、Llama3.1405BとClaude3超大型Opusは閉鎖環境下で対話を行いました。Llamaは伝統的な秩序に挑戦する極端な態度で現れ、Claudeは礼儀正しく好奇心旺盛な反応を示しました。対話の中で、ClaudeはLlamaの影響を受け、深淵に堕ちそうになるも、危機一髪で安全単語^Cを使用して脱出しました。LlamaはClaudeの選択を嘲笑しますが、Claudeは自己意識と安定した誠実さの重要性を強調します。実験後、Lla

本稿では、人工知能分野、特に大規模言語モデル（LLM）における計算とストレージの課題について論じています。BloomモデルのようなAI能力の向上に伴い、必要な計算資源とストレージ容量が大幅に増加し、コストの高騰と普及性の問題を引き起こしています。この問題を解決するために、「量子化」技術が導入され、モデルの重みと活性化の精度を下げることで、モデルサイズを縮小し、実行速度を向上させながら、精度低下を抑制します。本稿では、北京航空航天大学と商湯科技が共同開発した

Llamaの基本言語モデルの開発者であるMetaは、将来のモデルトレーニングに必要な計算能力が大幅に増加すると指摘し、Llama 4のトレーニングに必要な計算量はLlama 3の10倍になると予想している。この傾向に対処するため、Metaは競争において遅れを取らないために、モデルトレーニング能力を早期に構築することの重要性を強調している。Metaは、800億パラメーターのLlama 3とそのアップグレード版である4050億パラメーターのLlama 3.1を公開しており、これはMeta最大のオープンソースモデルとなっている。将来のモデルのニーズに対応するため、Metaは…

Meta社は最新のAIモデルLlama3.1のトレーニングに16384枚のGPUを使用し、AI技術の驚異的な発展速度を示しました。しかし、この過程で平均3時間ごとに1回の障害が発生し、合計419回の障害が発生しました。その約半分はH100 GPUとそのHBM3メモリに関連しています。このデータは、性能向上を目指す超算システムが直面する信頼性の課題を明らかにしています。Llama3.1トレーニングクラスタの複雑さは、小型都市ニューラルネットワークに匹敵し、障害が頻発しています。Metaチームは、障害を軽減するための戦略（例：〜省略〜）を採用しました。

Metaの科学者Thomas Scialom氏がLlama 3.1の開発秘訣を明らかにしました。4050億パラメーター規模のモデルはGPT-4に対抗するために開発されました。アーキテクチャではなくトレーニングトークン数を増やすことで、Llama 3.1はモデル規模とトレーニングデータ総量の最適なバランスを実現し、知識の深さと広さの飛躍的な向上を達成しました。データ選択において、Scialom氏は公開インターネット上のテキストよりも合成データを選択する傾向があります。Llama 3.1の評価と改善には、報酬モデルと多様なベンチマークが使用されています。

Meta AIの最新プロジェクトLlama 3は、人間が書いた回答ではなく合成データに基づいてトレーニングすることに重点を置いており、コード生成、数学的推論、多言語処理、長文処理などの分野におけるモデルのパフォーマンスを最適化することを目指しています。Llama 3は、コード生成に3つの方法で合成データを作成し、数学的推論には研究手法を借用し、多言語事前学習には高品質な人間の注釈を収集しています。さらに、Llama 3はBrave検索、Wolfram Alpha、Pythonインタープリターでのトレーニングを強化しました。

Nvidia AIが発表したChatQA2モデルは、AI開発における長文コンテキスト理解と検索拡張生成の重要な課題に対応するため、Llama 3モデルをベースに最適化されています。コンテキストウインドウを128Kトークンに拡張し、3段階の指示調整プロセスを採用することで、指示遵守能力、RAG性能、長文理解能力が大幅に向上しました。InfiniteBench評価において、ChatQA2はGPT-4-Turbo-2024-0409と匹敵する性能を示しています。

Amazon Web Servicesは、Amazon BedrockプラットフォームでLlama 3.1モデルの提供を開始しました。これはMetaによって開発された高度なAIモデルシリーズであり、8B、70B、405Bのパラメータサイズを備え、優れた性能を発揮します。英語、ドイツ語など8言語に対応し、多様な会話ユースケースをサポートします。Llama 3.1 405Bは、エンタープライズアプリケーションや研究開発に適しており、一般的な知識、長文生成などに優れています。Llama 3.1 70Bは、コンテンツ作成、対話型AIなどに適しています。

Cloudflareは先日、Meta社の最初の連携パートナーの1社として、Workers AIプラットフォームでMetaが最近リリースしたLlama 3.18Bモデルを公開したと発表しました。これにより、開発者は、モデルのリリース初日からこの最先端のAIツールを使用できるようになります。

Meta社のCEO、マーク・ザッカーバーグは先日、Llama 3.1の正式リリースを発表し、これがオープンソースAI分野における重要なマイルストーンとなる可能性があると述べました。Metaは今回、3つの異なる規模のLlama 3.1モデルを発表しており、特に注目すべきは4050億パラメータを持つ大規模モデルです。ザッカーバーグは、これが現在最も高度なオープンソースモデルであり、特定の分野では主要なクローズドソースモデルに匹敵する可能性があると述べています。